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Description 



of searching fijpah* insspaTbTftel rXSS"**^^ 
allows a greater S 0 ~"l fc '"TV 0 "* SUpi " >rt with a danism that 
since the rnShan 3SS SSSEfT ^ di " iCU " ° r N""** 

^^^^ 

certain objects comfortably ST IT ? mg ada P table en °ugh to recognize 
[0007] The mvention will now be described in detail with the following figures: 

Figure 1 is a diagram of general elements that interact in the locatine of the 
camera and ,ts initial position with the help of a sight. 8 



KESS ta ^ «"* on the 

- S« < ^ 4 " 1US,ra,e 3 m0de,ing of a *** ™* and the image 

inm.81 p ,g ! F ? l illus,rates 11 me *od to make use of this invention 

that take into account the focal ^ « f £ °E ^ ^ ° f the camera > ^ values 
factor. These intrude vJ^l ™ ^ ^ ^ at leaSt 0ne radial ^on 
executed as soonTtne ™ a T K , f T™* by kD0Wn CaHbration is 
position is in iSSSaST^ ^b. 1 ^ they are therefore invariable. The camera's 

done when th'cXlt^^n^ Z ***** Parameters - » ™* be 
remounted or whenTte vo^Z ,W 7 P °u ' tlme ft is di ^ounted and 
fixed aim is use^ln exZ2n of tH £ * ^ md ° n ° CCasion - For * 
[0009] The Pa T eterS CalCUlati0n method fo »ow, 

mis process relies on tfae^SS, nf f*™»« parameters of a camera for 

image taken by ^JT™ dimensions »d of a unique 

analytical JLp^Z^^^Z resolutio * ^thods are 

marks or the marks of the sS t?™™ the P ° sition of me refere ™e 

£zrr \^^^X!£ 316 fast but sens,t,ve to interference 

images recorded by the came/a andT M err0r Criteria betwee " the 

the marks estimated. ^S^^JtTT 1 * ^ ^ ^ P ° Siti ° n of 
allows the exploitation of a ^^Z^^ interference ™ d 

inconvenience that the conversion ^T , marks ' but the y P resen t the 

Davis, published ZZJZ^fiS^gZ^ ^ ^ DeMen *on and 
and consist of obtaining a firs ^S^w P ^ 1 ? Han ' ^ 15 ' p - 123 " 141 ' 1995 - 
by an approximate O^^^^^^ ^ ^ reference 
an iterative process for wmch the estaL If v Tf* thlS initial estimation b y 
projected on the image u*a iZ" ^ ° f / osltlon of reference marks are 
to its I-qectioo,^^^^ before «*» W *e approximated algorithm 
marks. P 6W *»* m0re prec,se estl ™ted positions of the reference 

5Z2 -S^^ to b the 

estimation of position very near to tSdiTSi P ? SS Y US1 " g 3 firSt a,g0rithm 
previous, particularly by «S 1' Pr0C6SS dlStln S uishes ^lf from the 

by a particular improved 2^1^ ^ eStimatl ° n - LeSS Sensitive to interference 
image, as well as ^SelJSS? T ° f *" marks « the 

re.uirementsmm/dete^ 



[0013] The final, three-dimensional, algorithm estimation is created by the help of less 
straightforward nonlinear calculations with injection of the quality factors issued from the 
bi-dimensional improvement step of the image's reference marks. This calculation could 
be favorably replaced by a Kalman filter for which the digital stability is assured with the 
simple precision of floating decimal operations (32 bits). The calculation of lesser 
nonlinear equations imposes operations at double precision (64 bits) that will not be 
available on all computerized material, particularly DSP (Processor of digital signal 
treatment) loaded systems. & 
[0014] We will note that the French patent request 97 02426, not yet published, describes 
an analog process to this one that determine the position and orientation of mobile objects 

mmS S K T nCe markS ' m a fixed camera field of vision and a ^own position. ' 
[0015] Figure 1 represents target 1 that has marks 3 on two planes that form a dihedral 
and turned towards a camera 4; the marks 3 consist of small surface patterns such as 
colored points or that reflects the surrounding light. It is favorable to have a greater 
number of these patterns than 3 and non-coplanar. But an additional step of initialization 
i toe . toe ^ dlme i nsional Positioning by initial values for the use of 3 reference marks by 
elevating the ambiguity that may appear. In fact, in the application of three-dimensional 

t^TTm 7. T 3 - P v ? 10n ' We ° ften ^ g00d Values ±at ^Proximate to the final 
results that allow the initialization of the process. The patterns are also favorable in 

greater numbers if we want to obtain a better precision still. It is not essential that the 
marks 3 have a definite orientation and immoveable in relation to camera 4. But they can 
be presented diagonally to the camera without compromising the precision of detection 
1 nis prevents havmg to place camera 4 with too many constraints 
[0016] These passive marks may be preferred to luminous marks, generally used in this 
techmque and are more easily visible but for which the outlines are less defined This 
£^ fining impr0Vements of the algorithm estimation of position 

lil™ 6 fll " S ! f P Pr ° CeSS ° f P° sitionin 8 co ™st of searching the traces of marks 
3 on the image taken by the camera 4. This is a step of identification of images or partial 
images each containing a trace of marks 3. Figure 2 shows that we proceed with a 
correlation of the image 10 of camera 4 with image 9 of calibration taken previously If 
we notice a trace of one of the marks 3 was included in the perimeter of a portion of a 
reference image 1 1 of the calibration image 9, the positioning program creates 
successively images 12 with the same perimeters of the x and y coordinates of image 10 
and calculates the correlation C of the luminous intensity of the images 1 1 and 12 
according to the following formula: 

Formula 1 

When Cov is the covariance, E is the mathematical expectation and s the typical gap of 
the luminous intensity. Mo and Mk represent the luminous contents or patterns of the 
images 11 and 12. This calculation is reused for all the positions of image 12 by varying 
x and y^ A correlation table of image 10 is therefore obtained, of which flie points arT 
affected by a number included between -1 and +1, where -1 represents an anti-correlation 
between the Mo and Mk patterns for the considered values of x and y, 0 an absence of 
correlation, and +1 a perfect correlation. This last situation appears when image 12 is 



\ 



identical to the reference image 1 1 : the correlation serves to precisely identify the best 
place of correlation ^with image 1 1 and image 10 by the mean, of reading me co^elat on 

*at 'l 3 of 2 ofth f 7? ° f ^ 12 ° n ima § e 10 * at ^ains each 

trace 13 of one of the marks 3 of the aimed object. The reference image 1 1 may be 

unique for numerous images 12 if marks 3 are identical; if not; one image 12 is associated 
to one respective reference image 11. 8 associated 

IS™ 8 P T SS PreSentS 3dvantage 0f allowin 8 Ae findi "g of traces of 

[0019] Certain precautions must however be taken to make the process more interestine 
and more rehab^ In fact, it must be admitted that these correlation calcui^.SSS 
and expensive This is why they are actually taken on smaller reduced images simply § 

~on taltT 11 ^ 0f±e ° riginal image - From ^ S3 7 
correlation table thus obtained we select the points corresponding to the chosen images in 

greater numbers than the images 12 researched. The chosen images are the^rff 

second selection by making correlation verification on the compfete chosen^magls L 

m which we have reintegrated all the remote points by constructing the rXTd fmagt 

2oh*H r nCC ima§e 1 1 * ^ P recautions P^ents the risk of errors that are 
attached to the concrete conditions of exploitation, where interfering lights or other 

m^l ? } u n r fa 3ddltl0n ' the verifica «on correlations can be calculated 

a^nTw /Zf H ^ T 8 * 12 ' by ^ them each time in * e P-™Ss of 
a window 14 of dimensions pre-determined constructed around each chosen images Of 

course the best correlation position in window 14 is kept to define image 12 Th?risk 0 f 

^ncating the trace 13 by mis-framing it in the image 12 is therefore gfeatly reduced 

0020] An import element, although optional, consist of estimating with great preciL 

tite position of the traces 13 of the marks 3 on the images 12: the proposed proc^a lows 

ZZ of? I' l ^ Zati0n ° ftMs P ° Siti0n ' Which is with a PrecisioTZ me 
width of a point of the image. It is then possible to obtain satisfying localization results 
even with a camera 4 of weak resolution, less expensive and foTwWch the fmage 
exploitation is faster. It would be possible to base ourselves on the correlation 

SS^^^ Jn T! 12 13 -^P^tive image such as the 

Zfnf * f ^ exam P le '. calcula * *e center of the trace 13 on the image 12. But this 

then that of the capturing of the calibration image, which distorts them on the images 12 

Sowing " " Pr ° P t0 m ° del ^ ^ B ° n ^ ^ 12 by a formula iSte 



Formula - 2 



f^tThrl^ T° US int6nSity ° n image 12m a ' b ' c Md d «« ^"stants of which the 
first three are used to estimate the background luminous intensity of the image 12 me last 

"e cenTef of trie , TT M *> ^ «i- the cJ*££F 

the center of trace 13, Sx and sy it's width in the principal axes that can be diagonally (? 



\ 



angle) in relation to the principal axes of images 12, and fxy expresses the spreading of 

[0021] From a mathematical point of view, a, b and c are coefficients of a Diane and d the 
he lg ht of a derided function of elliptical bi-dimensional section for ^uZTutto 

Ae averages, sx and sy the typical gap and fxy the correlation. Figures 3 and 4 give a 
graphic representation. ^ Cd 

[0022] We see that this model takes into account the narrowing of the trace 13 on the 
mage 12 consecutive to the distancing of the mark 3 and its consecutive d formation of 
Ae diagonally of target 1. If we call I( xy ) the measured luminous intensity 
of image 12, the work consist of minimizing the Cmin function of the formuTa P 



Formula -3 



By changing the variables of this function, that is the parameters of moderation so that 
the luminous intensity given by it coincides with the values measured A prec se 
moddisation of trace 13 is then obtained: we can deduct the center by the'vTes of Mx 
and My and consequently, with a preliminary known calibration of camera 4 Te 

?0023 ^ 3 7? dated t0 ™ SQ 12 COnsidered - rela *°» to L camera 4 

[0023] The previous model given is suitable for circular marks 3, but it can be eaX 
transpose to different marks of a simple form ut " can oe easily 

S RlreV 8 l t n° W iS t0 d f ermine ±S P ° Siti0n 0f camera 4 in *8«* to the 
marks. Figure 5 w,ll allow an understanding of the following explanations. 

SedVvTeZf I th ! g 1 e ° metrical distorti <™ caused by the camera 4 lens was 
corrected by the factor of radial distortion of the introsequent parameters of the camera 
wh 1C h can also be done by a preliminary calibration of camera 4 by phTgn^ L 

Pn of thTc ter ° f 3 3 " f ° Und ° n 3 Une ° f P'°j ection L & Pas"?' 
center Pp of the corresponding trace 13 on the image 10 and by a focus F We call i i and 

k axes of reference of a camera for which the focus F is its beginning axe kis J 

perpendicular to image 10. All the points of the space perceivfd by camera 4 are 

whln^rZ^ P P ° mtS PP ' CCnter ° f tiaces 13 ' is therefore foreseeable 

when target 1 is given a position in camera 4 field; the problem consist of finding the 
relations of retro-projection that are passed by points Pp to points P. But we find that the 
ngorous relation of retro-projection, obtained by inverting the projected rdadons 
allowing the ca culation of the coordinates of points Pp from the Lrd^esT.oints P 

m& rllr ' ^ ^ t0 * e ^ ** * 13 n °" a Hnear nation sSl ? ' 
K 18 W f hy , WC f^end to resort to an initial evaluation of the position of 

Kl"? eVaIuatl0n 1S approximate ^t can easily be obtained and then allows 
the apphcahon of a convergence towards a real solution. The retained principal consist of 

SSZl P T P Pr0j6Ct th6mSelVeS ° n image 1 0 in two ^ an 
orthogonal projection on an intermediate plane II parallel to image 0 inapointP' then 
by a perspective projection of point P' towards focus F, giving apoint ? P >o mage^ 10 
This fictitious point of projects is beside the real projection point Pp. The initial 
evaluation of the pos.tion of points P consist of applying a retro projectiorin^erted of 
ficmous projection that we have just described, fopLl Pp of i^Tt^T 
obtained this way are noted as °P. 6 poinis 



[<H>27] This principle exposed, „e m „s, give more precise de t ai. S of the calcuMons 

defined above, ,o a fix reference, hrSed «o Cu °f "deo-cmera 4, 

Formula -4 

Formula - 5 
Formula - 6 

Where the notations I, J, A, u, v are given by the following equations: 
Formula - 7 

[0032] The quantities of In and Jn must then be calculated with the following formulas: 
Formula - 8 

Where matrix B is the pseudo-opposite of A, that is that (equation) 

[0033] The calculation of the parameters i i k and tv tv \?J 7 n , • 

simply by the succession of the follo wing steps * W 

- calculation of standards 

- calculation of average standards 

- calculation of / 

- calculation ofk by the vectorial product of the vectors i and / 

- calculation of the component J 

- calculation of 

ffl^s^^i^r^ of * e posi,ion ° f *** p h - 



Formula - 9 

to compare to formula (5), near but more simple. 

[0035] The final estimation of localization of target 1, that is the values of coefficient of 
matrix R and t that give the position and orientation of the reference of target 1 is 
obtained by minimizing the quadratic error between the coordinates u and v measured on 
the points Pp of the image 10, and the coordinates u and v of projections Tp, calculated 
by the previous formulas (9), of points °P. We take into account uncertainties on the 
coordinates of points Pp estimated by modelisation of the trace 13 (these uncertainties are 
represented by matrix ? of coefficients that can be estimated in advance). In other words 
we are searching to minimize the quantity Cmin given by the following formula: 

Formula - 10 

[0036] We act by iterative, by moving points °P each time in accordance with their 
projections °Pp on the image 10, until the projections are sufficiently converged towards 
the centers Pp of traces 13. The localization of target 1 being known in a fix reference it 
is therefore possible to know the localization of the video-camera 4 in this same reference 
by calculating the reverse transformation. 

[0037] The application of the principle of localization of the position of a camera used in 
this invention exploits the possibility of calibrating the respective position of several 
cameras mounted on a mobile support. It's a question of controlling the alignment of 
vehicles (wheel alignment) in a center for vehicle control (cf. Fig 6). The device consist 
or equipping the wheels 56 of the vehicle to be aligned 55 with plates 54 having 
reflective marks 57, two cameras 51 and 52 being placed here and there and in front of 
the vehicle. A known technique if three-dimensional localization of plates appearing in 
the field of each camera allows the determination, with precision, of the angular position 
ot each wheel 56 m relation to camera 51 or 52. It is possible to determine if the two 
wheels 56 from the same side of the vehicle are parallel because the control plates are 
then in the same field of camera 51 or 52 that supply the reference. 
[0038] In order to control the alignment of the opposite wheel on the same axle it is 
necessary to know the transformation of the reference between two cameras An initial 
device would consist of fixing, rigidly, the two cameras 51 and 52 to a transversal 
support and to calibrate the position of the cameras 51 and 52 by putting into operation 
the technique of this patent. It would be necessary to provide a target with the marks in 
the field of the two cameras in order to know the position of each camera in the reference 
ot that target, and by difference, the transformation of the position between the two 
cameras 51 and 52. 

[0039] This vehicle alignment device (system) will imply a rigid and stable mechanical 
realization, which will be heavy and cumbersome to install. 

[0040] We can advantageously, according to the device in figure 6, install two cameras 

51 and 52 of the vehicle on the supports 60, light and independent (tripods). The camera 

52 is equipped with a plate 59 containing marks 58 oriented towards the camera 51 and a 

rnn^T 3 53 , 1S S0Utary fr ° m SUpp0rt 0f camera 51 ™ d oriented Awards camera 52. 
[0041] The implementation of the technique of this patent analyzing the images of the 
plate 59 obtained by camera 53 allows the permanent knowledge (for each alignment 



measurement) the accurate position of camera 53 in relation to plate 59 The two 
equipments: camera 51 associated to camera 53 for one, and camera 52 and it's plate 59 

renchTtah^l ' T P r° U u y Calibr3ted in faCt0fy With me hel P of a measurement 
bench (table) equipped with another camera and an associated target to know with 

precision their fix geometrical parameters. 

lefereirtt^ ^ ^ ^ ^T' * W ° Uld * P ° Ssible to P rovide transformation of 

l^LtTZvT^ t " ,d T" 3 52 t0 ** f ° Ur Wheel of the 

vehicle m the real (live) time on the control site whatever the approximate position 
with which the operator would place the tripod. Pinion 
[0043] The exploitation of the images taken by the calibration camera 53 is made in the 
same manner, as previously, and allows the deduction of the position and orientation 
relative to cameras 51 and 52. 

[0044) Such procedure could be generalized for all systems containing several 

iTf Tf TTL 0n 3 Same ° bjeCt ' 01 ° f rdated P° rtions of ™ object or of a same 
space, and for which the views must be correlated between them to juxtapose and 
reconstruct the object or deduct the characteristics of the space observed 
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(54) Title: METHOD FOR CALIBRATING THE INITIAL POSITION AND THE ORIENTATION OF ONE OR SEVERAL MOBILE 
CAMERAS 

(54) Titre: PROCEDE D'ETALONNAGE DE LA POSITION ET DE L'ORIENTATON D'ORIGINE D'UNE OU PLUSIEURS 
CAMERAS MOBILES 

(57) Abstract 

Hie invention concerns a method 
for calibrating a camera (4, 22) arranged 
on a mobile support (21), wherein the 
camera takes a test object image formed 
of at least three marks appearing in the 
camera field, and the analysis of said im- 
age gives the initial position and orienta- 
tion of the camera relative to that of the 
test object image, known in an applica- 
tion. The support (21) can then be dis- 
placed towards an object (28) whereof 
the camera takes images. Since the sup- 
port displacements are accurately mea- 
sured, the analysis of the object images 
gives the accurate position and orienta- 
tion of the object relative to the camera 
and relative to the test object. One ap- 
plication consists in the survey of road 
signs (28) for constituting databases for 
managing a network or for an on-board 
navigation system. 




(57) Abrege" 

Process d'£talonnage d'une camera (4, 22) disposee sur un suppon mobile (21). La camera prend one image d'une mire formee 
d'au moins trois marques apparaissant dans le champ de la camera, et Tanalyse de I'image donne la position et Torientation initiales de la 
camera par rapport a celle de la mire, qui sont connues dans une application. Le support (21) peut alors £tre deplace* vers un objet (28) dont 
la camera prend des images. Comme les deplacements du support sont mesures avec precision, V analyse des images de I'objet donne la 
position et I'orientation precises de l'objet par rapport a la camera et par rapport a la mire. Une application est le recensement de panneaux 
routiers (28) pour consumer des bases de donn6es de gestion du rfeeau ou pour systeme de navigation embarque\ 
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WO 99/22281 - PCT/FR98/02270 

1 

PROCEDE D'ETALONNAGE DE LA POSITION ET DE L' ORIENTATION 
D ' ORIGINE D'UNE OU PLUSIEURS CAMERAS MOBILES 

5 

DESCRIPTION 

L' invention a trait a un procede d' etalonnage de 
la position et de 1' orientation d'origine' d'une ou 

10 plusieurs cameras mobiles et a son application a la 
mesure de position tridimensionnelle d'objets fixes . 

Elle peut trouver diverses applications de calcul 
automatique de position d'objets en prenant au moins 
une image de ces objets par la camera et en calculant 

15 leur position d'apres leur trace sur les images prises 
et la position de la camera. 

Le brevet frangais 96 06749 non encore publie 
decrit une telle application, et le systeme materiel 
correspondant, pour laquelle 1' invention serait utile : 

20 il s'agit du recensement automatique de panneaux de 
signalisation le long d'une route : une ou plusieurs 
cameras sont fixees sur le toit du vehicule, qui peut 
encore etre muni d'une centrale de navigation 
inertielle et d ! un appareil a antenne de localisation 

25 par rapport a une constellation de satellites en orbite 
(par exemple systeme GPS) ; le second de ces deux 
instruments donne periodiquement (quelques secondes) la 
position du vehicule a la surface de la Terre et son 
cap avec une tres grande precision, et le premier est 

30 utilise pour mettre a jour les informations de position 
et d' orientation entre les instants de localisation. La 
camera prend une serie d f images de chaque panneau que 
croise le vehicule, et un systeme de traitement 
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d' images adjoint a la camera, qui comprend des moyens 
de poursuite a filtrage de Kalman d'un point 
caracteristique de chaque objet sur chacune des images, 
fournit des coordonnees representatives de la direction 
5 et de 1 ' eloignement de 1* objet par rapport a la camera 
a chacune des images par un algorithme de prediction, 
de verification et d' estimation de la trace du point 
caracteristique de 1* objet sur chacune des images. II 
existe aussi des algorithmes plus simples, fondes sur 

10 une triangulation a partir des positions de points 
caracteristiques de l 1 objet sur deux images ou plus. La 
position de 1' objet peut done etre determinee en 
utilisant ces renseignements et la connaissance qu'on a 
de la position et de 1 ' orientation de la camera et du 

15 vehicule. La position et 1' orientation du vehicule sont 
connues a tout instant dans un repere fixe (lie a la 
Terre) grace au systeme de localisation par satellites 
et a la centrale inertielle, mais il reste a etalonner 
la position et surtout 1 • orientation de la camera par 

20 rapport au vehicule. 

On a propose deux moyens de maitriser les 
incertitudes de positionnement de la camera sur le 
support mobile qui la transporte : assembler la camera 
au support par un dispositif mecanique qui offre une 

25 grande precision, ou munir le boitier de la camera de 
reperes, le fixer au support par un mecanisme 
permettant d'ajuster sa position, et effectuer un 
ajustement de position entre les reperes de la camera 
et des reperes fixes pour aligner le viseur de la 

30 camera avec une direction determinee sur le support. La 
premiere des possibilites de cette alternative 
necessite des moyens mecaniques couteux qui ne 
permettent pas de regler la position de la camera sur 
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le support ni de proceder a aucun reglage de position 
de quelque nature qu'il soit, et le remplacement de la 
camera devient difficile ou impossible puisque le 
systeme mecanique est adapte a chaque modele de camera. 
5 L' autre possibility de 1 1 alternative implique que la 
camera est etalonnee en laboratoire pour que ses 
reperes soient traces correctement d'apres la direction 
du viseur, et interdit de changer les reglages de 
position de la camera ulterieurement sous peine de 

10 devoir recommencer la procedure d'etalonnage pour 
obtenir de nouveaux reperes. 

L'interet de 1' invent ion est essentiellernent 
d'eluder ce besoin de placer la camera sur le support 
mobile avec une grande precision pour mesurer 

15 convenablement la position et surtout 1 ' orientation de 
l'objet vise. Elle permet aussi d'utiliser aisement 
plusieurs cameras sur le meme support mobile. 

Plusieurs avantages decoulent de cette 
caracteristique. II est tout d'abord inutile de regler 

20 finement la position a laquelle la camera est fixee au 
support, et il est permis de reorienter sans difficulty 
la camera pour une nouvelle application du procede si 
on le souhaite. II est aussi possible de monter sans 
inconvenient la camera sur une tourelle mobile, 

25 notamment tournante, montee sur le support, malgre 
1 ' incertitude . supplementaire de position et 
d' orientation qui est alors introduite ; il faudra 
simplement mesurer avec precision les deplacements de 
la tourelle, sans devoir connaitre avec precision sa 

30 position et son orientation d'origine ; celles-ci 
seront determinees implicitement par le procede de 
1' invention. Une telle tourelle pourrait par exemple 
etre employee dans 1' application de recensement de 



WO 99/22281 



PCT/FR98/02270 



10 



15 



panneaux pour faciliter la prise d' images successives 
dans des lieux tels que des ronds-points a sens 
giratoire ou la direction du vehicule et le champ de 
visee de la camera se deplacent tres vite. 

La mesure caracteristique de 1' invention consiste 
a prendre, pour chaque camera, une image preliminaire 
d'une mire dont la position est connue dans 
l'environnement ; on deplacera le vehicule a cet effet 
pour chaque camera : 1« analyse de 1 ' image de la mire 
fournit la position et 1 ' orientation de la camera et de 
son support par rapport a la mire et done dans un 
repere fixe. II suffit ensuite d'aller prendre des 
images successives de l'objet qui sont analysees a leur 
tour par un des procedes connus pour connaitre la 
position de l'objet dans le repere fixe, en mesurant 
les deplacements du support jusqu'a chacun des lieux de 
prise d' image et en deduisant la position de l'objet a 
l'aide de sa trace sur chacune des images. 

Rappelons que la position et 1' orientation du 
support mobile sont connues a chaque instant y compris 
lors des prises d' image de la mire. 

Dans le cas ou l'objet a localiser est porteur de 
plusieurs marques de reperage de positions relatives 
bien identifiees, on pourra mettre en oeuvre un procede 
25 de localisation a partir d'une seule image de l'objet. 

Pour resumer, 1' invention est relative sous sa 
forme la plus generale a un procede d'etalonnage de la 
position et de 1' orientation d'origine d'une ou 
plusieurs cameras, disposees sur un support mobile dans 
un environnement, caracterise en ce qu' il consiste a 
munir l'environnement d'une mire a une position et une 
orientation connues ; a prendre une image de la mire 
par chaque camera et a analyser 1' image de la mire par 
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un systeme de traitement en relevant des positions de 
traces de points caracteristiques de la mire sur 
1' image et en deduisant des directions et des 
eloignements entre les points caracteristiques et la 
5 camera, puis une position et une orientation de la 
camera par rapport a la mire ; ou encore, dans une 
conception a peine differente, elle concerne un proced§ 
d' etalonnage, par rapport a une seconde camera de la 
position et de 1' orientation d'origine d'une premiere 

10 camera disposee sur un support mobile dans un 
environnement , caracterise en ce qu' il consiste a munir 
la premiere camera d'une camera d' etalonnage et la 
seconde camera d'une mire a une position et une 
orientation connues ; a prendre une image de la mire 

15 par la camera d' etalonnage ; et a analyser 1 ' image de 
la mire par un systeme de traitement en relevant des 
positions de traces de marques caracteristiques de la 
mire sur 1 1 image et en deduisant des directions et des 
eloignements entre les marques caracteristiques et la 

20 camera d' etalonnage, puis une position et une 
orientation de la camera d' etalonnage par rapport a la 
mire, puis de la premiere camera par rapport a la 
seconde camera. 

25 Avantageusement, la mire comprend au moins trois 

marques apparaissant dans le champ de la camera, elle 
presente avantageusement un plus grand nombre de 
marques non coplanaires. 

1/ invention est encore relative a un procede de 

30 mesure de position tridimensionnelle d'objets fixes au 
moyen d'une ou plusieurs cameras montees sur un support 
mobile, caracterise en ce qu'il consiste, apres avoir 
applique le procede d' etalonnage, a faire subir un 
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emplacement au support jusqu'a I'objet tout en mesurant 
ce emplacement ; a prendre cles images de I'objet par la 
ou les cameras, entre chacune desquelles le support est 
de nouveau deplace ; a analyser les images de I'objet 
par le systeme de traitement pour en deduire une 
direction et un eloignement entre I'objet et la ou les 
cameras ; a enfin calculer la position de I'objet en 
utilisant ladite direction et ledit eloignement entre 
I'objet et la camera et les deplacements du support. 

L' invention sera maintenant decrite en detail a 
l'aide des figures suivantes : 

- la figure 1 est une vue schematique et generale 
des elements qui interviennent dans la 
localisation de la position et de 1' orientation 

15 initiales de la camera a l'aide d' une mire ; 

- la figure 2 illustre la technique de recherche 
des traces des marques de la mire sur 1 ' image 
prise par la camera ; 

- les figures 3 et 4 illustrent une modelisation 
d'une trace de marque sur 1 1 image ; 

- la figure 5 est une representation geometrique 
d' explication du procede de localisation et 
d' orientation de la camera / 

- la figure 6 illustre un vehicule sur lequel une 
camera de localisation 22 ou 4 est implantee ; 

- la figure 7 illustre le procede de localisation 
de la camera ou des cameras par la mire dans 
cette application ; 

- la figure 8 illustre une autre application de 
30 1' invention ; 

- et la figure 9 illustre une autre fagon de 
mettre en oeuvre le procede. 
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Rappelons tout d'abord que 1' allure d'une image 
d'un objet vise par la camera depend de onze 
parametres : les six parametres extrinseques de la 
camera, c'est-a-dire ses coordonnees d 1 orientation et 
5 de position par rapport a 1' objet et au moins cinq 
parametres intrinseques, a savoir deux coordonnees qui 
definissent la position du centre optique sur le 
capteur de la camera, deux valeurs qui tiennent compte 
de la distance focale de l'objectif et au moins un 
10 facteur de distorsion radiale. Ces parametres 
intrinseques peuvent etre determines par des 
etalonnages connus qui sont effectues des que les 
elements de la camera ont ete assembles ; ils restent 
alors invariables. La localisation de la camera, objet 
15 de 1' invention, est en realite liee a la determination 
de ses parametres extrinseques. Elle doit etre faite 
quand la camera est montee sur son support, a chaque 
fois qu'elle est demontee et remontee ou que sa 
position est ajustee sur le support, et en pratique de 
20 temps a autre. Une mire fixe est employee pour cela. On 
detaille ci-apres la methode de calcul des parametres 
extrinseques . 

La localisation monoculaire mise en oeuvre pour 
obtenir les parametres extrinseques d'une camera dans 
25 ce procede repose sur 1' exploitation d'une mire de 
dimensions connues et d'une unique image prise par la 
camera representant cette mire. Certaines methodes de 
resolution connues sont analytiques et imposent de 
resoudre un systeme d' equations non lineaires pour 
30 determiner les positions des reperes ou des marques de 
la mire a partir de leur image. Elles sont rapides mais 
sensibles aux bruits de mesure et exigent un plus grand 
nombre de marques d' identification . 
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Une autre categorie est constitute par les 
resolutions iteratives, dans lesquelles la position des 
reperes est estimee puis corrigee pour minimiser un 
critere d'erreur entre les images enregistrees par la 
5 camera et les images qui seraient obtenues avec la 
position estimee des reperes. Ces resolutions sont 
precises, peu sensibles aux bruits de mesure et 
permettent d f exploiter un nombre variable de reperes, 
mais elles presentent 1 1 inconvenient que la convergence 
10 peut etre assez lente et que la premiere estimation 
doit etre proche de la solution, faute de quoi la 
convergence n'est plus assuree. 

Un dispositif inverse de localisation d'un objet 
porteur de marques de reperage est decrit dans 
15 I 1 article « Model-based object pose in 25 lines of 
code » par DeMenthon et Davis, paru dans International 
Journal of Computer Vision, vol.15, p. 123-141, 1995, et 
consiste a obtenir une premiere estimation analytique 
de la position des reperes par un algorithme 
20 approximatif mais simple a utiliser, puis a corriger 
cette estimation initiale de position par un processus 
iteratif dans lequel les estimations de position des 
reperes sont projetees sur 1' image prise par la camera 
avant d'appliquer 1' algorithme approximatif a ces 
25 projections pour donner de nouvelles estimations de 
position des reperes plus precises que les precedentes. 

On propose ici un procede de localisation qui 
appartient a la famille des methodes optiques 
monoculaires et comprend 1 ' utilisation d'un procede de 
30 resolution iteratif en utilisant un premier algorithme 
estimateur de position tres proche de cet article ; ce 
procede se distingue du precedent en particulier par un 
meilleur algorithme d' estimation finale, moins sensible 
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aux bruits de mesure, par une etape particuliere 
d' amelioration de la determination de la position des 
reperes sur l 1 image, ainsi que par une nature des 
reperes qui permet de satisfaire a 1' exigence de 
5 precision dans la determination finale de la position 
de l 1 image. 

L'algorithme final d' estimation tridimensionnelle 
est realise a l'aide d' un calcul de moindres carres non 
lineaires avec injection des facteurs de qualite issus 
10 de 1' etape d' amelioration de la position 
bidimensionnelle des traces des marques dans 1' image. 
Ce calcul pourrait etre avantageusement remplace par un 
filtre de Kalman dont la stabilite numerique est 
assuree avec des operations en virgule flottante a 
15 simple precision (32 bits) . Le calcul des moindres 
carres non lineaires impose des operations a double 
precision (64 bits) qui ne sont pas disponible sur tous 
les materiels informatiques, notamment les systemes 
embarques a DSP (Processeur de traitement de signal 
20 numerique) . 

On notera que la demande de brevet frangais 
97 02426 non encore publiee decrit un procede analogue 
a celui-ci pour determiner la position et 1' orientation 
d'objets mobiles, porteurs de marques de reperage, dans 
25 le champ de vision d' une camera fixe et de position 
connue . 

La figure 1 represente une mire 1 qui porte des 
marques 3 sur deux faces planes formant un diedre et 
tournees vers une camera 4 ; les marques 3 peuvent 
30 consister en des motifs de petite surface tels que des 
points de couleur ou qui ref lechissent la lumiere 
environnante. Ces motifs sont avantageusement d'un 
nombre superieur a trois et non coplanaires, mais une 
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etape supplementaire d' initialisation de la 
localisation tridimensionnelle par des valeurs a priori 
permet de n' avoir recours qu'a trois marques de 
reperage en levant les ambiguites pouvant apparaltre. 
5 En effet, dans les applications de localisation 
tridimensionnelle de grande precision pouvant etre 
abordee dans le cadre de ce brevet, on connait bien 
souvent de bonnes valeurs approchees du resultat final 
qui permettent 1' initialisation du processus. Les 
10 motifs sont d' ailleurs avantageusement plus nombreux 
encore si on veut obtenir une meilleure precision. II 
n'est pas indispensable que les marques 3 soient a une 
orientation definie et immuable par rapport a la camera 
4, mais elles peuvent au contraire etre presentees 
15 obliquement a elle sans que la precision de detection 
soit compromise, ce qui n' impose pas de placer la 
camera 4 avec trop de contraintes. 

Ces marques passives peuvent etre preferees aux 
marques lumineuses, generalement employees dans la 
20 technique et qui sont plus facilement visibles mais 
dont les contours sont moins nets, ce qui interdit de 
bien prof iter de l'algorithme d' amelioration 
d' estimation de position decrit plus loin. 

La premiere etape du procede de localisation 
25 consiste a chercher la trace des marques 3 sur 1 1 image 
prise par la camera 4. II s'agit d ! une etape 
d' identification d'imagettes ou portions d' image 
contenant chacune la trace d'une des marques 3. La 
figure 2 montre qu'on procede par une correlation de 
30 1' image 10 de la camera 4 avec une image 9 d'etalonnage 
prise precedemment . Si on a constate que la trace d'une 
des marques 3 etait incluse dans le perimetre d'une 
portion ou imagette de reference 11 de 1 1 image 
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d'etalonnage 9, le programme de localisation cree 
successivement des imagettes 12 de meme perimetre a des 
coordonnees x et y sur l 1 image 10 et calcule la 
correlation C de l'intensite lumineuse des points des 
5 imagettes 11 et 12 selon la formule suivante (1) : 



oil cov est la covariance, E est l'esperance 

10 mathematique et a I'ecart-type de l'intensite 
lumineuse. M Q et representant les contenus ou motifs 
lumineux des imagettes 11 et 12. Ce calcul est repris 
pour toutes les positions de 1' imagette 12 en faisant 
varier x et y. Une table de correlation de 1' image 10 

15 est alors obtenue, dont les points sont affectes d'un 
nombre compris entre -1 et +1, ou -1 represente une 
anti-correlation entre les motifs M 0 et M k pour les 
coordonnees x et y considerees, 0 une absence de 
correlation et +1 une correlation parfaite. Cette 

20 derniere situation apparait quand 1' imagette 12 est 
identique a 1'imagette 11 de reference : la correlation 
sert precisement a reperer les endroits de meilleure 
correlation avec 1'imagette 11 sur 1' image 10 au moyen 
d'une lecture de la table de correlation ; il est alors 

25 possible d'isoler un certain nombres d' imagettes 12 sur 
1' image 10, qui contiennent chacune la trace 13 d'une 
des marques 3 de l'objet vise. L'imagette 11 de 
reference peut etre unique pour plusieurs imagettes 12 
si les marques 3 sont identiques ; sinon, une imagette 

30 12 est associee a une imagette 11 de reference 
respective. 



C(x 7 y) = 



Cov(m o , M k ) 



E(M 0 M k ) - E(M Q )E(M k ) 
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Ce procede presente le grand avantage de permettre 
de retrouver les traces des marques 3 meme quand des 
variations de luminosite existent entre les marques 3 
ou entre 1' image 10 et l 1 image d'etalonnage 9. 
5 Certaines precautions doivent cependant etre 

prises pour rendre le procede plus interessant et plus 
sur. II faut en effet admettre que ces calculs de 
correlation sont longs et couteux. C'est pourquoi ils 
sont entrepris en realite sur des images reduites, 
10 presentant simplement une selection des points (pixels) 
de 1' image originale. Du tableau de correlation reduit 
ainsi obtenu on selectionne les points correspondant a 
des imagettes candidates en plus grand nombre que les 
imagettes 12 recherchees. Les imagettes candidates sont 
15 l'objet d'une seconde selection en realisant une 
correlation de verification sur des imagettes 
candidates completes, c'est-a-dire dans lesquelles on a 
reintegre tous les points ecartes en construisant 
1' image reduite. Les imagettes 12 finalement retenues 
20 sont celles qui possedent la meilleure correlation de 
verification avec l'imagette 11 de reference. Ces 
precautions permettent de se premunir contre les 
risques d'erreur attaches aux conditions concretes 
d 1 exploitation, ou des lumieres parasites ou d'autres 
25 artefacts peuvent induire le systeme en erreur et le 
pousser a identifier des traces 13 a ces endroits 
plutot qu'aux veritables. De plus, les correlations de 
verification peuvent etre calculees plusieurs fois pour 
chacune des imagettes 12, en les deplagant a chaque 
30 fois dans le perimetre d'une fenetre 14 de dimensions 
predetermines construite autour de chacune des 
imagettes candidates. C'est bien sur la position de 
meilleure correlation dans la fenetre 14 qu'on retient 
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pour definir l'imagette 12. Le risque de tronquer la 
trace 13 en la cadrant mal dans l'imagette 12 est alors 
tres reduit. 

Un element important, bien que facultatif, de 
1' invention consiste a estimer avec une grande 
precision la position des traces 13 des marques 3 sur 
les imagettes 12 : le precede qui est propose permet de 
faire une localisation sous-pixellique de cette 
position, e'est-a-dire avec une precision meilleure que 
la largeur d f un point de 1' image. II est alors possible 
d'obtenir des resultats de localisation satisf aisants, 
meme avec une camera 4 a faible resolution, moins 
couteuse et dont 1 ' exploitation des images est plus 
rapide. II serait possible de se fonder sur le calcul 
de correlation entre l'imagette 12 de la trace 13 et 
une image primitive telle que l'imagette 11 pour, par 
exemple, calculer la position du centre de la trace 13 
sur l'imagette 12. Mais ce genre de methode devient 
inoperant quand la mire 1 est vue sous une autre 
incidence que pendant la prise d 1 image d 1 etalonnage, 
qui les deforme sur l'imagette 12. C'est pourquoi il 
est propose de modeliser les traces 13 sur l'imagette 
12 par une formule telle que la suivante (2) : 



t(x, y) = a + bx + cy + d exp 



W' - 4) 



2 \^ 
(x - m x ) 2 (v ~ m y) (x - m x )(y - m y ) 



J J 



ou I est l'intensite lumineuse sur l'imagette 12, a, b, 
c et d sont des constantes dont les trois premieres 
servent a estimer l'intensite lumineuse du fond de 
l'imagette 12, la derniere l'intensite lumineuse 
globale de la trace 13 ; m x , m y expriment les 
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coordonnees du centre de la trace 13, a x et a y ses 
largeurs dans des axes principaux qui peuvent etre 
obliques (d' angle 8) par rapport aux axes principaux de 
l'imagette 12, et r xy exprime 1 1 etalement de la trace. 
5 D'un point de vue mathematique, a, b et c sont des 

coefficients d f un plan et d la hauteur d'une fonction 
gaussienne de section bidimensionnelle elliptique dont 
m x et m y sont les moyennes, a x et a y les ecarts-types et 
r xy la correlation. Les figures 3 et 4 en donnent une 

10 representation graphique. 

On voit que ce modele tient compte du 
retrecissement de la trace 13 sur I'imagette 12 
consecutif a 1 1 eloignement de la marque 3 et de sa 
deformation consecutive a l'obliquite de la mire 1. Si 

15 on appelle i ( xy ) 1'intensite lumineuse mesuree sur les 
points de l ! imagette 12, le travail consiste a 
minimiser la fonction Cnun de la formule (3) : 

C^Ja, b, c, d, m E , m y , cr, cr y , r, y ) = y) - l(x, y))' (3) 

20 

en faisant varier les variables de cette fonction, 
c'est-a-dire les parametres de modelisation, pour que 
les intensites lumineuses donnees par celle-ci 
coincident au mieux avec les valeurs mesurees. Une 

25 modelisation precise de la trace 13 est alors obtenue : 
on .peut en particulier en deduire le centre par les 
valeurs de m x et m y et par consequent, avec un 
etalonnage preliminaire connu de la camera 4, la 
direction de la marque 3 associee a I'imagette 12 

30 consideree par rapport a la camera 4. 
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Le modele donne precedemment convient pour des 
marques 3 circulaires, mais il est facile de le 
transposer a des marques differentes de forme simple. 

II reste maintenant a determiner la position de la 
5 camera 4 par rapport aux marques 3. La figure 5 
permettra de comprendre les explications qui suivent. 

En supposant que les distorsions geometriques 
causees par I'objectif de la camera 4 aient ete 
corrigees notamment par le facteur de distorsion 
10 radiale des parametres intrinseques de la camera, ce 
qui peut aussi etre fait par un etalonnage preliminaire 
de la camera 4 par photogrammetrie, le point P au 
centre d f une marque 3 se trouve sur une ligne L de 
projection passant par le centre Pp de la trace 
15 correspondante 13 sur 1 * image 10 et par un foyer F. On 
appelle i, j et k les axes d'un repere de camera dont 
le foyer F est l'origine, 1 ' axe k etant perpendiculaire 
a 1 ' image 10. Tous les points de l'espace pergus par la 
camera 4 se projettent sur 1' image 10 par une ligne 
20 passant par le foyer F : cette projection convergente 
est appelee « en perspective ». La position des points 
Pp, centres des traces 13, est done previsible quand la 
mire 1 occupe une position donnee dans le champ de la 
camera 4 ; le probleme consiste a retrouver les 
25 relations de retro-projection qui font passer des 
points Pp aux points P. Mais on constate que les 
relations rigoureuses de retro-projection, obtenues en 
inversant les relations de projection permettant de 
calculer les coordonnees des points Pp a partir des 
30 coordonnees des points P, ne peuvent pas etre 
exploitees facilement car elles ne consistent pas en un 
systeme d' equations lineaires. 
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C'est pourquoi on preconise de recourir a une 
premiere evaluation de la position des points P ; cette 
premiere evaluation est approximative mais elle peut 
etre obtenue facilement et permet ensuite d'appliquer 
5 un procede de convergence vers la solution reelle. Le 
principe retenu consiste a supposer que les points P se 
projettent sur 1 ' image 10 en deux etapes, d' abord par 
une projection orthogonale sur un plan intermediaire n 
parallele au plan de 1' image 10, en un point P', puis 
10 par une projection en perspective de ce point P 1 vers 
le foyer F, qui donne un point Pp 1 sur 1* image 10. Ce 
point de projection fictive est a cote du point Pp de 
projection reelle. La premiere evaluation de la 
position des points P consiste a appliquer une retro- 
15 projection, inverse de la projection fictive qu'on 
vient de decrire, aux points Pp de 1' image 10 : les 
points ainsi obtenues sont notes °P. 

Ce principe etant expose, il faut detainer plus 
precisement les calculs entrepris. 
20 La situation de la mire 1 peut etre representee 

par une rotation R et une translation t conformes aux 
matrices suivantes (4), qui font passer du repere de la 
video-camera 4, defini plus haut, a un repere fixe, lie 
a la mire 1 : 

25 



t — ( tx , ty , t 


z) T 






( \ 








K i y i z 






R = 


Dx D y i s 




f 











oil t x , t y et t z sont des coordonnees de translation 
30 exprimees dans les axes i, j et k du repere de la 
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camera 4 et i, j et k sont les vecteurs directeurs du 
repere de la camera 4 exprimes dans le repere de la 
mire 1. 

Le plan n est choisi tel que l'origine O du repere - 
5 de la mire 1 lui appartienne, ce qui implique que le 
foyer F est distant du plan % de la grandeur t 2 . 

Si on appelle ° x , ° y et % les coordonnees du point 
P dans le repere de la mire 1 et u et v les 
coordonnees du point P'p sur 1' image 10 , on peut 
10 obtenir les relations suivantes (5) : 



1 (° x, ° y, ° z) T + t x _ 
_ u 

(5) 

j. (° x, ° y, ° z) T + t y _ 
= v 

15 

Ces equations peuvent etre generalisees a un 
nombre n de points P de la mire 1 de la maniere 
suivante (6) : 



20 



J; 
J 



= u 



(6) 



- V 
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ou les notations I, J, A, u, v sont donnees par les 
equations que voici (7) : 



11 = i x / tz 

12 - iy / tz 

13 = iz f tz 

14 = t x / tz 

Jl = DX / tZ 

J2 = jy / tz 
^3 = jz / tz 

J4 = ty / tZ 



A = 



'° XI ° yl 0 21 



l°«n °yn °zn I 



v 



v = 



(7) 



10 II s'agit alors de calculer les quantites I n et J n , 

ce qui est effectue par les formules suivantes (8) : 

= Bu' 



(8) 



= Bv' 



15 
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ou la matrice B est la pseudo-inverse de A, c'est-a- 
dire que B = (A T A) _1 A T . 

Le calcui des parametres i f j, k et t x , t y , t z des 
matrices R et t est alors effectue de fagon simple par 
5 la succession d'etapes suivantes : 

- calcui des normes n, = |ff lf l 2 , l 3 ) T | et n a = \(j lf J 2 , J 3 ) T | ; 

- calcui de la norme moyenne n=(ni-fnj)/2 ; 

- calcui de i=(Ii,I 2 ,I 3 ) T /ni et de j= ( J lt J 2 , J 3 ) T / nj ; 

- calcui de k par le produit vectoriel des vecteurs i 
10 et j ; 

- calcui de la composante t 2 =l/n ; 

- calcui de t x =I 4 t 2 et de t y =J 4 t 2 . 

Quand la position des points °P d' estimation de la 
position des points P a ete ainsi obtenue par ces 
15 calculs, il convient de la corriger a cause de I'erreur 
de principe expliquee avec le commentaire de la figure 
5. Les points °P sont projetes sur le plan de 1 ' image 
10 le long d f une ligne dirigee vers le foyer F. Les 

coordonnees u et v du point de projection °Pp sont 
20 donnees par les formules (9) : 



ih/y/ z) T + t v = A 
k. (° x, ° y, ° z) T + t z ~ U 

(9) 

(° ° y, * z) T + t v A 

} 77 = v 

k. (° x, ° y t ° z) T + t 2 

a comparer aux formules precedentes (5) approchees mais 
plus simples. 

L' estimation definitive des parametres de 
localisation de la mire 1, c f est-a-dire des valeurs de 
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coefficients des matrices R et t qui donnent la 
position et 1' orientation du repere de la mire 1, est 
obtenue en minimisant l'erreur quadratique entre les 
coordonnees u et v mesurees sur les points Pp de 
5 1' image 10 et les coordonnees u et v des projections 
°Pp, calculees par les formules precedentes (9), des 
points °P. On tient compte des incertitudes sur les 
coordonnees des points Pp estimes par la modelisation 
de la trace 13 (ces incertitudes sont representees par 
10 une matrice A de coefficients qui peuvent etre estimes 
a 1'avance). En d'autres termes, on cherche a minimiser 
la quantite C m i n donnee par la formule suivante (10) : 

c Jr. t) = | ((u t , vj - {%, v 4 ) - ft, %)) ( 10 ) 

15 

On agit par iterations, en deplagant a chaque fois 
les points °P en fonction des positions de leurs 
projections °P P sur 1' image 10, jusqu'a ce que ces 
projections aient suf f isamment converge vers les 

20 centres Pp des traces 13. La localisation de la mire 1 
etant connue dans un repere fixe, il est alors possible 
de connaitre celle de la video-camera 4 dans ce meme 
repere en calculant la transformation inverse. 

Voici maintenant une application concrete de ce 

25 procede de localisation. La camera 4 de localisation 
peut etre disposee, comme I'illustre la figure 6, sur 
une plate-forme d'une tourelle 20 juchee sur le toit 
d'un vehicule 21 destine a recenser, tout en roulant 
sur un reseau routier, des panneaux 28 de signalisation 

30 routiere au service de 1 ' administration competente ou 
pour constituer des bases de donnees utilisables pour 
des logiciels de navigation routiere qui commencent a 



WO 99/22281 - PCT/FR98/02270 

21 

apparaitre sur le marche. Une autre camera de 
localisation 22, fixe, est montee directement sur le 
toit du vehicule 21. On demande a la fois une grande 
precision de localisation des panneaux 28, de l'ordre 
5 d'une dizaine de centimetres, et un recensement 
cornplet, c'est-a-dire sans omission de panneaux 28 bien 
qu'ils soient de formes et de dimensions tres variables 
et qu'ils puissent etre alteres par des salissures, des 
inclinaisons, qu'ils puissent etre partiellement 

10 recouverts par des feuillages ou d'autres obstacles et 
que leurs positions soient parfois imprevues. Le 
vehicule 21 est en consequence equipe de projecteurs 
23, ainsi que d'une antenne de localisation 24 situes 
sur le toit ; il est encore muni, dans l f habitacle, 

15 d'une armoire de commande 25 qui contient un ordinateur 
et des logiciels de calcul et de commande, ainsi qu'une 
centrale inertielle 26 a gyroscope et au moins un 
odometre 27. Ces elements connus en soi ne sont pas 
representes en detail, mais I 1 odometre 27 peut 

20 comprendre un moyen de mesure de la rotation d ! au moins 
une des roues du vehicule 21. La camera 22 pour 
detecter les panneaux ref lechissants, ou la camera 4 
pour detecter les panneaux colores, 1 ! antenne 24, la 
centrale inertielle 26 et 1' odometre 27 sont relies a 

25 1' armoire de commande 25. 

Expliquons d'abord succinctement comment les 
panneaux 28 sont detectes. On se sert pour cela de la 
camera 22, sensible a l'infrarouge proche, et des 
projecteurs 23 pour detecter les panneaux 

30 ref lechissants, et/ou de la camera 4 pour detecter les 
panneaux colores. Bien que d'autres m6thodes soient 
possibles, on choisit une camera 4 dont les images sont 
traitees de deux fagons differentes par autant de 
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chaines de mesure paralleles. Des images de 
1 1 environnement prises dans le spectre visible sont 
tout d'abord decomposees en trois images dont chacune 
ne comprend qu'une des couleurs essentielles (rouge, 
5 vert et bleu) de la scene enregistree. Les panneaux .28 
sont reconnus a leurs formes geometriques particulieres 
puis identifies grace a cette forme et a leurs couleurs 
par des logiciels specialises qui ne sont pas l'objet 
de 1' invention, et dont certains lisent aussi les 
10 inscriptions qu f ils portent. L ! autre voie de mesure 
permet de prendre simultanement des images de la scene 
dans l'infrarouge proche : les projecteurs 23 emettent 
une telle lumiere, qui presente 1 1 avantage d'etre 
invisible par les autres usagers, vers 1 1 avant du 
15 vehicule 21, et cette lumiere est reflechie par les 
panneaux 28 vers la camera 22. On possede ainsi un 
moyen supplementaire de faire un recensement complet. 
Les images de la camera 22 en infrarouge proche ont un 
traitement plus simple car elles sont monochromes. 
20 L'antenne 24 regoit des informations de 

localisation d'un reseau de satellites en orbite 
circulaire qui permettent de localiser de fagon connue 
le vehicule a la precision souhaitee a la fin de 
periodes breves et regulieres, de quelques secondes. II 
25 est mis en oeuvre un procede de localisation dit par 
GPS differentiel pour obtenir la precision souhaitee. 
Les longueurs des deplacements du vehicule 21 sont 
mesurees dans l'intervalle par l'odometre 27, ses 
virages sont mesures par la centrale inertielle 26. 
30 L'odometre 27 et la centrale inertielle 26 sont soumis 
a une derive relativement importante mais qui n'a pas 
le temps d'apparaitre vraiment entre deux localisations 
des satellites avec l'antenne 24. 
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lis permettent ainsi d'obtenir une grande 
precision de localisation a court terme et avec une 
grande vitesse de repetition (50 Hertz), ce qui permet 
de calculer precisement la position de la camera lors 
5 de chaque prise de vue et de compenser la perte du 
signal d'un satellite GPS en fonction des obstacles. 

Cette technique connue d' hybridation, GPS et 
inertie, peut etre mise en oeuvre posterieurement lors 
du depouillement des enregistrements effectues en 
10 mission. Elle peut avantageusement etre completee par 
la technique de mise en correspondance de la 
trajectoire du vehicule et du fond de carte 
geographique numerique (map matching) . 

Les incertitudes inherentes a ce procede de 
15 localisation de panneaux 28 proviennent done 
essentiellement de 1 1 orientation du vehicule 21 sur le 
sol et de 1 1 orientation des cameras de localisation 4 
et 22 sur la tourelle 20 et le vehicule 21. II est 
conforme a 1' invention d'appliquer le procede 
20 precedemment expose de localisation de la position 
d'une camera par une mire fixe de la fagon evoquee a la 
figure 7 : la mire, ici referencee par 101, peut 
consister en un groupe de catadioptres 31 colles aux 
parois d ! un batiment 32 devant lequel le vehicule 21 
25 doit repasser periodiquement , tel qu'un batiment de 
remise ou il revient apres ses missions. En repartant 
pour la mission suivante, il suffit d'arreter un 
instant le vehicule 21 devant le batiment 32 et 
d'orienter la camera de localisation 22 en manoeuvrant 
30 le vehicule ou la camera de localisation 4 en orientant 
la tourelle 20 vers les catadioptres 31 pour prendre 
une image de la mire 101 qui est analysee de la fagon 
qu*on a decrite, pour en deduire les parametres 
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extrinseques de la camera de localisation 4, exprimes 
par les grandeurs t et R. La position et 1 1 orientation 
de la camera de localisation 4 sont alors determinees 
dans un repere fixe et restent ensuite connues a tout 
5 instant du trajet, et notamment quand les images des 
panneaux 28 sont prises, en mesurant les mouvements de 
rotation de la tourelle 20, les virages du vehicule 21 
par la centrale inertielle 26 et ses deplacements par 
I'odometre 27 et le systeme de localisation. On est 
10 done assure de pouvoir calculer avec la precision 
souhaitee la position des panneaux 28 a la surface du 
sol. Si, conformement a une realisation particuliere de 
1' invention, plusieurs autres cameras de localisation 
telles que 104 ou 204 sont montees sur la meme tourelle 
15 20 ou eventuellement une tourelle voisine et semblable 
pour prendre elles aussi des images des panneaux 28, 
ces cameras supplementaires 104 et 204 sont localisees 
en meme temps par rapport a la mire 101. 

L 1 ensemble des cameras a en effet un champ de vue 
20 important et permet de suivre le panneau 28 par des 
images prises successivement par des cameras 
differentes, ce qui permet de tourner plus lentement la 
tourelle 20 sur laquelle toutes les cameras sont 
montees, ou meme de la maintenir immobile. L' invention 
25 est d'ailleurs parfaitement applicable a des 
realisations sans tourelle 20, ou la camera ou les 
cameras sont directement montees sur le support mobile 
tel que le vehicule 21. 

La localisation des panneaux 28 peut etre faite 
30 par plusieurs procedes connus autres que celui de la 
demande 96 06749 a laquelle on renvoie pour 1' expose de 
ce procede particulier de localisation. Certains sont 
exposes dans "Three dimensional computer vision. A 
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geometric viewpoint" par Faugeras (The MIT press, 
1993) , "Photogrammetry Fundamentals and standard 
process" par Kraus (Bonn, Fred. Dummler Verlag, 1993, 
4e edition), ou "3D dynamic scene analysis : a stereo 
5 based approach", par Zhang et Faugeras (Springer- 
Verlag, 1992). Si l'objet est porteur de marques de 
positions relatives connues, sa position pourra meme 
etre calculee en lui appliquant le proced£ de 
localisation utilise avec la mire. 

10 Une autre application fondee sur un principe de 

localisation identique est explicitee a I'aide de la 
figure 8. Un telemanipulateur 40 est manie par un 
operateur 41 se trouvant derriere une paroi de 
protection epaisse 42 qui l'isole de 1 1 environnement 

15 dangereux, radioactif ou autre, d'une chambre close 39. 
II ne peut observer qu'un volume reduit a travers la 
vitre epaisse d'un hublot 43 et a done des difficultes 
pour placer une pince 44 d'extremite du bras du 
telemanipulateur 40 a la position souhaitee. Si 

20 cependant une camera 4 identique aux precedentes est 
montee sur le telemanipulateur, pres de la pince 44, 
pour donner 1 1 image tridimensionnelle de 

1 1 environnement autour de la pince 4 4 par des analyses 
d* images semblables a celles qui etaient faites pour 

25 les panneaux 28, elle peut proceder periodiquement a 
des localisations de la camera 4 en prenant une image 
d'une mire 201 qui peut etre formee, comme la mire 1 
precedemment evoquee, par au moins quatre marques 3 
circulaires et peintes sur une paroi sans s'etendre 

30 dans un plan commun. L' analyse de 1 1 image par la camera 
4 permet de connaitre par la suite la position exacte 
des elements de 1 1 environnement, ce qui permet de 
diriger sans tatonnement la pince 44 vers les positions 
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souhaitees en commandant ses emplacements . La pince 44 
pourra accomplir un travail de precision, comme saisir 
un objet, le deposer a cote d'un autre ou tenir et 
placer une torche de soudage juste au joint de 
5 plaquettes juxtaposees a souder, meme a des endroits 
recules de la chambre 39. II faut remarquer que les 
cameras 4 disposees au bout de tels telemanipulateurs 
40 doivent etre remplacees frequemment a cause de 
1 1 environnement hostile qui les endommage rapidement et 
10 qu'elles sont a chaque fois montees a une position 
differente, ce qui complique 1 ' apprentissage du 
telemanipulateur 40. Une localisation de la mire 201 
est done faite a chaque changement de camera 4. 

Une autre application du principe de localisation 
15 de la position d'une camera exploite la possibility 
d'etalonner la position respective de plusieurs cameras 
montees sur une tete mobile. II s'agit de controler la 
geometrie des vehicules (parallelisme des roues) dans 
un centre de controle automobile (cf. Fig. 9). le 
20 dispositif consiste a equiper les roues 56 du vehicule 
a controler 55 de plaques 54 porteuses de marques 
retro-ref lechissantes 57, deux cameras 51 et 52 etant 
alors placees de part et d' autre et en avant du 
vehicule. Une technique connue de localisation 
25 tridimensionnelle des plaques apparaissant dans le 
champ de chaque camera permet de determiner avec 
precision la position angulaire de chaque roue 56 par 
rapport a la camera 51 ou 52. II est done possible de 
determiner si les deux roues 56 d'un meme cote du 
30 vehicule sont paralleles car les plaques de controle 
sont alors dans le champ de la meme camera 51 ou 52 qui 
fournit le repere. 
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Afin de controler le parallelisme des roues 
opposees sur un meme essieu, il est necessaire de 
connaitre avec precision la transformation de repere 
entre les deux cameras. Un premier dispositif 
5 consisterait a fixer de maniere rigide les deux cameras 
51 et 52 a un support transversal et a etalonner la 
position des cameras 51 et 52 en mettant en oeuvre la 
technique de ce brevet. II serait necessaire de 
disposer une mire porteuse de marques dans le champ des 
10 deux cameras afin de connaitre la position de chaque 
camera dans le repere de cette mire, et par difference, 
la transformation de position entre les deux cameras 51 
et 52. 

Ce dispositif de controle de geomerie des 
15 vehicules impliquerait une realisation mecanique rigide 
et stable, qui sera lourde a installer et encombrante. 

On peut avantageusement , selon le dispositif de la 
figure 9, installer les deux cameras 51 et 52 de part 
et d' autre du vehicule sur des supports 60 legers et 
20 independants (trepieds) . La camera 52 est equipee d'une 
plaque 59 porteuse de marques 58 orientee vers la 
camera 51, et une troisieme camera 53 est solidaire du 
support de la camera 51 et orientee vers la camera 52. 

La mise en oeuvre de la technique de ce brevet 
25 analysant les images de la plaque 59 obtenues par la 
camera 3 permet de connaitre en permanence (a chaque 
mesure de parallelisme) la position reelle de la camera 
53 par rapport a la plaque 59. Les deux equipements : 
camera 51 associee a la camera 53 d'une part et camera 
30 52 et sa plaque 59 porteuse de marques 58 d' autre part, 
sont prealablement etalonnes en usine a 1'aide d'un 
banc de mesure equipe d'une autre camera et d'une mire 
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associee pour connaltre avec precision leurs parametres 
geometriques fixes . 

Ainsi avec ce dispositif leger, il sera possible 
de disposer de la transformation de repere entre la 
5 camera 51 et la camera 52 necessaire au controle de 
parallelisme des quatre roues du vehicule en temps reel 
sur le site de controle quelle que soit la position 
approximative avec laquelle 1'operateur aura place les 
trepieds 60. 

10 1/ exploitation des images prises par la camera 

d'etalonnage 53 est faite de la meme maniere que 
precedemment et -permet de deduire la position et 
1' orientation relatives des cameras 51 et 52. 

Un tel procede pourrait etre generalise a tout 

15 systeme comprenant plusieurs cameras d' observation d' un 
meme objet r ou de portions voisines d'un meme objet ou 
d'un meme espace, et dont les vues doivent etre 
correlees entre elles pour les juxtaposer et 
reconstituer 1' objet ou deduire des caracteristiques de 

20 1' espace observe. 
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REVENDICATIONS 

1. Procede d' etalonnage de la position et de 
1' orientation d'origine d'une camera (4, 22) disposee 

5 sur un support mobile (21, 40) dans un environnement , 
caracterise en ce qu'il consiste a munir 
1' environnement d'une mire (1, 101, 201) a une position 
et une orientation connues ; a prendre une image de la 
mire par la camera ; et a analyser 1' image de la mire 

10 par un systeme de traitement en relevant des positions 
de traces (P p ) de marques caracteristiques (3) de la 
mire sur 1' image et en deduisant des directions et des 
eloignements entre les marques caracteristiques et la 
camera, puis une position et une orientation de la 

15 camera par rapport a la mire. 

2. Procede d' etalonnage, par rapport a une seconde 
camera (52), de la position et de 1' orientation 
d'origine d'une premiere camera (51) disposee sur un 

20 support mobile (60) dans un environnement, caracterise 
en ce qu'il consiste a munir la premiere camera d'une 
camera d' etalonnage (53) et la seconde camera d ! une 
mire (58) a une position et une orientation connues ; a 
prendre une image de la mire par la camera 

25 d' etalonnage ; et a analyser 1 * image de la mire par un 
systeme de traitement en relevant des positions de 
traces (P p ) de marques caracteristiques (3) de la mire 
sur 1' image et en deduisant des directions et des 
eloignements entre les marques caracteristiques et la 

30 camera d' etalonnage, puis une position et une 
orientation de la camera d' etalonnage (53) par rapport 
a la mire, puis de la premiere camera (51) par rapport 
a la seconde camera (52) . 
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3. Procede selon la revendication 1 ou 2, 
caracterise en ce que la mire comprend au moins trois 
marques dans le champ de la camera a etalonner, et 

5 avantageusement plus de trois marques non coplanaires. 

4. Procede selon l'une quelconque des 
revendications 1 a 3, caracterise en ce que la position 
et 1 1 orientation de la camera d' etalonnage par rapport 

10 a la mire sont deduites sous forme d'une position (t) 
et d'une orientation (R) de la camera a etalonner par 
rapport a un repere lie a la mire. 

5. Procede selon l'une quelconque des 
15 revendications 1 a 4, caracterise en ce qu'il consiste 

a deduire les directions et les eloignements entre les 
marques caracteristiques et la camera d' etalonnage (4, 
22) en effectuant une retro-projection des centres des 
traces des marques caracteristiques (3) de la mire 

20 d'abord sur un plan {Yl) passant par l'origine du repere 
de la mire et parallele au plan de 1' image le long de 
lignes convergeant vers un foyer unique (F), puis dans 
l'espace, perpendiculairement audit plan parallele pour 
obtenir des points de retro-projection (°P), et 

25 ensuite, de fagon iterative, une projection des points 
de retro^projection (°P) sur le plan de 1' image (10) le 
long de lignes convergeant vers le foyer (F) pour 
obtenir des points de projection (°Pp), et une 
correction de position des points de retro-projection 

30 pour minimiser un crit&re d' estimation d' erreur entre 
des coordonnees des centres des traces (Pp) des marques 
caracteristiques (3) et des points de projection (°Pp). 
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6. Precede de mesure de position tridimensionnelle 
d'objets fixes (28) au moyen d'une camera (4, 22) 
montee sur un support mobile (21, 40), caracterise en 
ce qu'il consiste, apres avoir applique le procede 

5 d'etalonnage selon la revendication 1, £ faire subir un 
deplacernent au support (21, 40) jusqu'a I'objet (28) 
tout* en mesurant ce deplacernent ; a prendre des images 
de I'objet par la camera, entre chacune desquelles le 
support (21, 40) est de nouveau deplace ; a analyser 

10 les images de I'objet par le systeme de traitement pour 
en deduire une direction et un eloignement entre 
l 1 ob jet (28) et la camera (4) ; a enfin calculer la 
position de I'objet en utilisant ladite direction et 
ledit eloignement entre I'objet et la camera et les 

15 deplacements du support. 

7. Procede selon la revendication 6, caracterise 
en ce qu-' il comprend une pluralite de cameras (4, 104, 
204) disposees sur le support dans des directions de 

20 visee differentes, chacune des cameras prenant une 
image de la mire, et en ce qu'il consiste a deduire des 
positions et des orientations relatives entre chacune 
des cameras, a prendre une pluralite d' images de 
l ! objet par ces cameras respectives, a analyser les 

25 images de I'objet et a se servir des positions et des 
orientations relatives pour deduire les directions et 
les eloignements entre I'objet et les cameras et 
calculer la position de I'objet. 

30 8. Application du procede conforme a l'une 

quelconque des revendications 6 ou 7 au recensement de 
panneaux de signalisation routi&re (28) dont chacun 
constitue un objet par un vehicule (21) constituant le 
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support mobile sur un reseau routier constituant 
I'environnement, le vehicule etant muni d'un systeme de 
localisation par satellites (24, 25) et d'un systeme 
d 1 orientation a inertie (26). 

5 

9. Application du procede conforme a l'une 
quelconque des revendications 6 ou 7 a la 
telemanipulation, un bras telemanipule constituant le 
support de la camera (4) . 

10 

10. Application du procede conforme a la 
revendication 2 a 1' observation du contenu d'un meme 
espace a partir des vues partielles fournies par 
plusieurs cameras situees dans ce meme espace. 



15 
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